Cuối năm 1931, với tên là Vương Nhật Dân, ông về Trung Quốc hoạt động. Bấy giờ, ở trong nước, các tổ chức cộng sản bị chính quyền thực dân đàn áp dữ dội. Năm 1932, theo chỉ thị của Quốc tế Cộng sản, ông cùng một số đồng chí tìm cách liên lạc với tổ chức Đảng trong nước nhằm khôi phục phong trào và thảo chương trình hành động của đảng trong tình hình Đảng bị tổn thất nặng nề trước đó.

Tháng 6 năm 1932, Đảng Cộng sản Đông Dương đã ra bản Chương trình hành động được Quốc tế Cộng sản công nhận. Dưới sự chỉ đạo của Quốc tế Cộng sản, tháng 3 năm 1934, tại Ma Cao, Ban Chỉ huy hải ngoại của Đảng Cộng sản Đông Dương được thành lập, do ông làm Thư ký (Bí thư). Do tình hình Ban Chấp hành Trung ương trong nước gần như bị tê liệt nên Ban Chỉ huy hải ngoại kiêm Ban Chấp hành Trung ương lâm thời, có nhiệm vụ liên lạc giữa Đảng Cộng sản Đông Dương với Quốc tế Cộng sản và các đảng Cộng sản bạn, tổ chức lại công tác đào tạo cán bộ cho đất nước, ra Tạp chí Bônsơvích - cơ quan lý luận của Trung ương Đảng, tập hợp và phục hồi các cơ sở Đảng, chuẩn bị triệu tập Đại hội Đảng lần thứ nhất.

Từ ngày 16 đến ngày 21 tháng 6 năm 1934, Hội nghị Ban chỉ huy hải ngoại của Đảng Cộng sản Đông Dương và đại diện các tổ chức Đảng ở trong nước được tổ chức, gồm có Lê Hồng Phong, Hà Huy Tập, Nguyễn Văn Dựt, Nguyễn Văn Tham và Trần Văn Chấn. Hội nghị đã thông qua Nghị quyết Chính trị và Nghị quyết Về các vấn đề tổ chức.

Nghị quyết Về các vấn đề tổ chức của Hội nghị quy định cơ cấu tổ chức và nhiệm vụ của Ban Chỉ huy hải ngoại của Đảng Cộng sản Đông Dương:

1. Ban Chỉ huy hải ngoại gồm 5 người (3 người do Quốc tế Cộng sản chỉ định và 2 người do Trung ương Đảng Cộng sản Đông Dương chỉ định). Ban chỉ huy hải ngoại bầu Ban Thường vụ và thư ký của Ban. Thời hạn tồn tại của Ban Chỉ huy hải ngoại do Quốc tế Cộng sản quy định. Các hội nghị toàn thể của Ban Chỉ huy hải ngoại được triệu tập ít nhất ba tháng một lần.
2. Ban Chỉ huy hải ngoại là đại diện của Đảng trong quan hệ và liên lạc với Quốc tế Cộng sản và các Đảng Cộng sản anh em.
3. Ban Chỉ huy hải ngoại chỉ đạo đường lối chính trị chung của Trung ương Đảng. Ban có quyền cử đại biểu để tham gia công tác và kiểm tra toàn bộ công tác của các cấp ủy đảng trong nước.
4. Những nghị quyết quan trọng nhất của Trung ương phải được bàn bạc nhất trí với Ban Chỉ huy hải ngoại. Trong trường hợp Trung ương Đảng Cộng sản Đông Dương không đồng ý với Ban Chỉ huy hải ngoại, Trung ương có quyền khiếu nại nghị quyết lên Quốc tế Cộng sản. Trước khi Quốc tế Cộng sản quyết định vấn đề tranh cãi thì Trung ương có nhiệm vụ phải thực hiện các chỉ thị của Ban Chỉ huy hải ngoại.
5. Trong trường hợp Trung ương Đảng bị vỡ và mất liên lạc và để tránh mất sự lãnh đạo thường xuyên, các Xứ ủy Đảng (Bắc Kỳ, Trung Kỳ, Nam Kỳ, Lào, Cao Miên) phải liên lạc với Ban Chỉ huy hải ngoại. Trong trường hợp Trung ương bị vỡ, Ban Chỉ huy hải ngoại có thể thay thế Trung ương lãnh đạo trực tiếp tất cả các tổ chức đảng ở trong nước...[4]

Như vậy, có thể thấy cơ cấu Ban Chỉ huy hải ngoại có tác dụng như Ban Chấp hành TW ngày nay. Với cương vị Bí thư Ban Chỉ huy hải ngoại, trên thực tế ông nắm giữ vai trò Tổng bí thư Đảng Cộng sản Đông Dương.[5] Sau khi có Ban Chấp hành TW lập trong nước, thì Ban Chỉ huy hải ngoại có nhiệm vụ riêng, và thành viên hai tổ chức khác nhau.